最近，多模式和跨模式AI技术吸引了社区的注意。前者的目标是收集脱节和异质数据，以补偿互补信息以增强健壮的预测。后者的目标是利用一种模式来通过发现它们之间的共同关注共享来预测另一种方式。尽管两种方法都共享相同的目标：从收集的原始数据中生成智能数据，但前者需要更多的方式，而后者则旨在减少各种方式。本文首先讨论了多模式和跨模式AI在智能数据分析中的作用。然后，我们介绍了多模式和跨模式AI框架（MMCRAI），以平衡上述方法，并使其易于扩展到不同的域。该框架集成到XDATAPF（交叉数据平台https://www.xdata.nict.jp/）中。我们还介绍并讨论了基于此框架和XDATAPF的各种应用程序。

State space models (SSMs) have demonstrated state-of-the-art sequence modeling performance in some modalities, but underperform attention in language modeling. Moreover, despite scaling nearly linearly in sequence length instead of quadratically, SSMs are still slower than Transformers due to poor hardware utilization. In this paper, we make progress on understanding the expressivity gap between SSMs and attention in language modeling, and on reducing the hardware barrier between SSMs and attention. First, we use synthetic language modeling tasks to understand the gap between SSMs and attention. We find that existing SSMs struggle with two capabilities: recalling earlier tokens in the sequence and comparing tokens across the sequence. To understand the impact on language modeling, we propose a new SSM layer, H3, that is explicitly designed for these abilities. H3 matches attention on the synthetic languages and comes within 0.4 PPL of Transformers on OpenWebText. Furthermore, a hybrid 125M-parameter H3-attention model that retains two attention layers surprisingly outperforms Transformers on OpenWebText by 1.0 PPL. Next, to improve the efficiency of training SSMs on modern hardware, we propose FlashConv. FlashConv uses a fused block FFT algorithm to improve efficiency on sequences up to 8K, and introduces a novel state passing algorithm that exploits the recurrent properties of SSMs to scale to longer sequences. FlashConv yields 2$\times$ speedup on the long-range arena benchmark and allows hybrid language models to generate text 1.6$\times$ faster than Transformers. Using FlashConv, we scale hybrid H3-attention language models up to 1.3B parameters on the Pile and find promising initial results, achieving lower perplexity than Transformers and outperforming Transformers in zero- and few-shot learning on a majority of tasks in the SuperGLUE benchmark.

Diffusion models are rising as a powerful solution for high-fidelity image generation, which exceeds GANs in quality in many circumstances. However, their slow training and inference speed is a huge bottleneck, blocking them from being used in real-time applications. A recent DiffusionGAN method significantly decreases the models' running time by reducing the number of sampling steps from thousands to several, but their speeds still largely lag behind the GAN counterparts. This paper aims to reduce the speed gap by proposing a novel wavelet-based diffusion structure. We extract low-and-high frequency components from both image and feature levels via wavelet decomposition and adaptively handle these components for faster processing while maintaining good generation quality. Furthermore, we propose to use a reconstruction term, which effectively boosts the model training convergence. Experimental results on CelebA-HQ, CIFAR-10, LSUN-Church, and STL-10 datasets prove our solution is a stepping-stone to offering real-time and high-fidelity diffusion models. Our code and pre-trained checkpoints will be available at \url{https://github.com/VinAIResearch/WaveDiff.git}.

使用通过组成可逆层获得的地图进行标准化模型复杂概率分布。特殊的线性层（例如蒙版和1x1卷积）在现有体系结构中起着关键作用，因为它们在具有可拖动的Jacobians和倒置的同时增加表达能力。我们提出了一个基于蝴蝶层的新的可逆线性层家族，理论上捕获复杂的线性结构，包括排列和周期性，但可以有效地倒置。这种代表力是我们方法的关键优势，因为这些结构在许多现实世界数据集中很常见。根据我们的可逆蝴蝶层，我们构建了一个新的称为蝴蝶流的归一化流量模型。从经验上讲，我们证明蝴蝶不仅可以在MNIST，CIFAR-10和Imagenet 32​​x32等自然图像上实现强密度估计结果，而且还可以在结构化数据集中获得明显更好的对数可能性，例如Galaxy图像和Mimic-III患者群体 - - 同时，在记忆和计算方面比相关基线更有效。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

我们介绍了第一项经验研究，研究了突发性检测对意向检测和插槽填充的下游任务的影响。我们对越南人进行了这项研究，这是一种低资源语言，没有以前的研究，也没有公共数据集可用于探索。首先，我们通过手动添加上下文不满并注释它们来扩展流利的越南意图检测和插槽填充phoatis。然后，我们使用强基线进行实验进行实验，以基于预训练的语言模型，以检测和关节意图检测和插槽填充。我们发现：（i）爆发对下游意图检测和插槽填充任务的性能产生负面影响，并且（ii）在探索环境中，预先训练的多语言语言模型XLM-R有助于产生更好的意图检测和插槽比预先训练的单语言模型phobert填充表演，这与在流利性环境中通常发现的相反。

变化自动编码器（VAE）的最新进展使学习潜流歧管成为紧凑的谎言组，例如$ SO（d）$。由于这种方法假定数据在于谎言组本身同构的子空间，因此我们在这里研究了该假设如何在图像的背景下通过预测$ d $二维量产生的图像，而$ d $ d $ d $二维构成$ so so so so（d）$。在检查小组和图像空间的不同理论候选者后，我们表明，定义对数据空间的组动作的尝试通常会失败，因为它需要对卷上的更具体的几何约束。使用几何VAE，我们的实验证实了此约束是适当姿势推断的关键，我们讨论了这些结果对应用和未来工作的潜力。

为了使腿部机器人与人类和动物的运动能力相匹配，它们不仅必须产生强大的周期性步行和跑步，而且还必须在名义运动步态和更专业的瞬态操纵之间无缝切换。尽管最近在两足机器人的控制方面取得了进步，但几乎没有集中精力产生高度动态的行为。利用强化学习制定控制腿机器人的政策的最新工作表明，在产生强大的步行行为方面取得了成功。但是，这些学识渊博的政策难以在单个网络上表达多种不同行为。受腿部机器人的常规优化控制技术的启发，这项工作应用了一个经常性的策略来执行四步，90度转弯，使用从优化的单个刚体模型轨迹生成的参考数据进行了训练。我们提出了一个新型的培训框架，该培训框架使用结尾终端奖励从预先计算的轨迹数据中学习特定行为，并证明了双皮亚机器人Cassie上的硬件成功转移。

变压器模型最近已成为自然语言处理中的基础模型之一，作为副产品，最近对扩展这些模型具有重大的兴趣和投资。但是，这些大型变压器语言模型的培训和推理成本令人难以置信，因此需要更多的研究来识别更有效的变体。在这项工作中，我们通过用统计语言建模中的文献启发的变压器体系结构提出了一个简单而有效的修改，该架构是通过通过文本序列的离散潜在表示构建的n-grams来增强模型的。我们评估了我们的模型，关于C4数据集的语言建模的N-Strammer以及Superglue数据集的文本分类，并发现它的表现优于诸如变压器和底漆等几个强基线。我们为JAX中的可重复性目的开放源模型。

在这项工作中，我们提出了一种方法，用于生成降低的模型参考轨迹，用于用于双皮亚机器人的高度动态操作的一般类别，用于SIM卡之间，用于SIM卡至现实的增强学习。我们的方法是利用单个刚体模型（SRBM）来优化轨迹的库库，以用作学习政策的奖励函数中的专家参考。该方法将模型的动态旋转和翻译行为转化为全阶机器人模型，并成功将其传输到真实硬件。 SRBM的简单性允许快速迭代和行为改进，而基于学习的控制器的鲁棒性则可以将高度动态的动作传输到硬件。 ％在这项工作中，我们介绍了一套可转移性约束，将SRBM动态修改为实际的两足机器人硬件，这是我们为动态步进，转动操作和跳跃创建最佳轨迹的框架。在这项工作中，我们介绍了一套可转移性约束，将SRBM动力学修改为实际的双皮亚机器人硬件，我们为各种高度动态的操作创建最佳轨迹的框架，以及我们整合参考轨迹的高速强化跑步轨迹的方法学习政策。我们验证了在两足机器人Cassie上的方法，我们成功地展示了高达3.0 m/s的高度动态接地步态。